Dilahirkan di Paddington, London, Baden-Powell merupakan anak ke enam daripada lapan anak kepada Profesor Savilian yang mengajar geometri di Oxford. Ayahnya meninggal ketika beliau berusia tiga tahun.

Selepas menghadiri Sekolah Tinggi Bukit Ros (Rose Hill School), Tunbridge Wells, Baden-Powell dianugerahkan dengan biasiswa bagi sekolah awam Charterhouse. Pengenalannya kepada kemahiran pengakap adalah menjejak dan memasak haiwan serta mengelak guru dalam belukar yang berhampiran, yang juga merupakan kawasan larangan.

Beliau juga bermain piano dan violin, mampu melukis dengan baik dengan menggunakan kedua belah tangan ("ambidextrous"_), dan gemar berlakon. Percutian dihabiskan dengan ekspedisi belayar atau berkanu dengan saudaranya.